Self-supervised learning (SSL) aims to produce useful feature representations without access to any human-labeled data annotations. Due to the success of recent SSL methods based on contrastive learning, such as SimCLR, this problem has gained popularity. Most current contrastive learning approaches append a parametrized projection head to the end of some backbone network to optimize the InfoNCE objective and then discard the learned projection head after training. This raises a fundamental question: Why is a learnable projection head required if we are to discard it after training? In this work, we first perform a systematic study on the behavior of SSL training focusing on the role of the projection head layers. By formulating the projection head as a parametric component for the InfoNCE objective rather than a part of the network, we present an alternative optimization scheme for training contrastive learning based SSL frameworks. Our experimental study on multiple image classification datasets demonstrates the effectiveness of the proposed approach over alternatives in the SSL literature.

因果代表学习揭示了低级观察背后的潜在高级因果变量，这对于一组感兴趣的下游任务具有巨大的潜力。尽管如此，从观察到的数据中确定真正的潜在因果表示是一个巨大的挑战。在这项工作中，我们专注于确定潜在的因果变量。为此，我们分析了潜在空间中的三个固有特性，包括传递性，置换和缩放。我们表明，传递性严重阻碍了潜在因果变量的可识别性，而排列和缩放指导指导了识别潜在因果变量的方向。为了打破传递性，我们假设潜在的潜在因果关系是线性高斯模型，其中高斯噪声的权重，平均值和方差受到额外观察到的变量的调节。在这些假设下，我们从理论上表明，潜在因果变量可以识别为微不足道的置换和缩放。基于这个理论结果，我们提出了一种新型方法，称为结构性因果变异自动编码器，该方法直接学习潜在因果变量，以及从潜在因果变量到观察到的映射。关于合成和实际数据的实验结果证明了可识别的结果以及所提出的学习潜在因果变量的能力。

尽管变形金刚已成功地从其语言建模起源过渡到基于图像的应用程序，但它们的二次计算复杂性仍然是一个挑战，尤其是对于密集的预测。在本文中，我们提出了一种基于内容的稀疏注意方法，以替代密集的自我注意力，旨在降低计算复杂性，同时保留对远程依赖性建模的能力。具体而言，我们聚集，然后汇总键和值代币，作为减少总代币计数的基于内容的方法。由此产生的聚类序列保留了原始信号的语义多样性，但可以以较低的计算成本进行处理。此外，我们进一步将聚类引导的注意力从单尺度扩展到多尺度，这有利于密集的预测任务。我们标记了提出的变压器体系结构固定，并证明它在各种视觉任务上实现了最新的性能，但计算成本较低，参数较少。例如，我们具有2270万参数的cluster小型模型可在Imagenet上实现83.2 \％TOP-1的精度。源代码和Imagenet模型将公开可用。

清洁和不同标记的数据的可用性是培训复杂任务（例如视觉问答（VQA））的培训模型的主要障碍。大型视觉和语言模型的广泛工作表明，自我监督的学习对预处理多模式相互作用有效。在此技术报告中，我们专注于视觉表示。我们审查和评估自我监督的方法，以利用未标记的图像并预处理模型，然后我们对其进行了自定义VQA任务，该任务允许进行控制的评估和诊断。我们将基于能量的模型（EBM）与对比度学习（CL）进行比较。尽管EBM越来越受欢迎，但他们缺乏对下游任务的评估。我们发现，EBM和CL都可以从未标记的图像中学习表示形式，这些图像能够在很少的注释数据上训练VQA模型。在类似于CLEVR的简单设置中，我们发现CL表示还可以改善系统的概括，甚至匹配来自较大，监督，预测模型的表示的性能。但是，我们发现EBM由于不稳定性和结果差异很高而难以训练。尽管EBMS被证明对OOD检测有用，但基于监督的基于能量的训练和不确定性校准的其他结果在很大程度上是负面的。总体而言，CL当前似乎比EBM的选项更为可取。

半监督学习是减少机器学习对标记数据的依赖性的关键工具。但是，它主要通过利用其固有的空间和语义结构来应用于图像和语言数据。这些方法不适用于表格数据，因为这些域结构不可用。现有的伪标记方法（PL）方法可以有效地对表格数据有效，但容易受到噪声样本的影响，并且给定预定义阈值而贪婪的分配，这是未知的。本文通过提出自信的sndhorn分配（CSA）来解决此问题，该分配仅为具有较高置信分数的样本分配标签，并通过最佳运输来学习最佳的标签分配。CSA的表现优于这个实际重要领域的当前最新面积。

尽管有启发式方法，贪婪的算法以及对数据统计变化的变化，但3D实例分割中的当前最新方法通常涉及聚类步骤。相比之下，我们提出了一种以每点预测方式起作用的全面3D点云实例分割方法。为此，它可以避免基于聚类的方法面临的挑战：在模型的不同任务之间引入依赖性。我们发现其成功的关键是为每个采样点分配一个合适的目标。我们建议使用最佳的传输方法来根据动态匹配成本最佳地将目标掩码分配给采样点。我们的方法在扫描仪和S3DIS基准测试方面取得了令人鼓舞的结果。所提出的方法消除了插入依赖性，因此比其他竞争方法代表了更简单，更灵活的3D实例分割框架，同时实现了提高的分割精度。

我们提出了一种直接的，基于回归的方法，以从单个图像中估计2D人姿势。我们将问题提出为序列预测任务，我们使用变压器网络解决了问题。该网络直接学习了从图像到关键点坐标的回归映射，而无需诉诸中间表示（例如热图）。这种方法避免了与基于热图的方法相关的许多复杂性。为了克服以前基于回归的方法的特征错位问题，我们提出了一种注意机制，该机制适应与目标关键最相关的功能，从而大大提高了准确性。重要的是，我们的框架是端到端的可区分，并且自然学会利用关键点之间的依赖关系。两个主要的姿势估计数据集在MS-Coco和MPII上进行的实验表明，我们的方法在基于回归的姿势估计中的最新方法显着改善。更值得注意的是，与最佳的基于热图的姿势估计方法相比，我们的第一种基于回归的方法是有利的。

与其他图表相比，图形级异常检测（GAD）描述了检测其结构和/或其节点特征的图表的问题。GAD中的一个挑战是制定图表表示，该图表示能够检测本地和全局 - 异常图，即它们的细粒度（节点级）或整体（图级）属性异常的图形，分别。为了解决这一挑战，我们介绍了一种新的深度异常检测方法，用于通过图表和节点表示的联合随机蒸馏学习丰富的全球和局部正常模式信息。通过训练一个GNN来实现随机初始化网络权重的另一GNN来实现随机蒸馏。来自各种域的16个真实图形数据集的广泛实验表明，我们的模型显着优于七种最先进的模型。代码和数据集可以在https://git.io/llocalkd中获得。

我们提出了一种基于动态卷积的3D点云的实例分割方法。这使其能够在推断时适应变化的功能和对象尺度。这样做避免了一些自下而上的方法的陷阱，包括对超参数调整和启发式后处理管道的依赖，以弥补物体大小的不可避免的可变性，即使在单个场景中也是如此。通过收集具有相同语义类别并为几何质心进行仔细投票的均匀点，网络的表示能力大大提高了。然后通过几个简单的卷积层解码实例，其中参数是在输入上生成的。所提出的方法是无建议的，而是利用适应每个实例的空间和语义特征的卷积过程。建立在瓶颈层上的轻重量变压器使模型可以捕获远程依赖性，并具有有限的计算开销。结果是一种简单，高效且健壮的方法，可以在各种数据集上产生强大的性能：ScannETV2，S3DIS和Partnet。基于体素和点的体系结构的一致改进意味着提出的方法的有效性。代码可在以下网址找到：https：//git.io/dyco3d

最近证明，接受SGD训练的神经网络优先依赖线性预测的特征，并且可以忽略复杂的，同样可预测的功能。这种简单性偏见可以解释他们缺乏分布（OOD）的鲁棒性。学习任务越复杂，统计工件（即选择偏见，虚假相关性）的可能性就越大比学习的机制更简单。我们证明可以减轻简单性偏差并改善了OOD的概括。我们使用对其输入梯度对齐的惩罚来训练一组类似的模型以不同的方式拟合数据。我们从理论和经验上展示了这会导致学习更复杂的预测模式的学习。 OOD的概括从根本上需要超出I.I.D.示例，例如多个培训环境，反事实示例或其他侧面信息。我们的方法表明，我们可以将此要求推迟到独立的模型选择阶段。我们获得了SOTA的结果，可以在视觉域偏置数据和概括方面进行视觉识别。该方法 - 第一个逃避简单性偏见的方法 - 突出了需要更好地理解和控制深度学习中的归纳偏见。